web crawler

单词web crawler

基本解释

n.: 网路蜘蛛
网络: 网络爬虫；网络爬虫或网络蜘蛛；网路爬虫

英汉解释

• 网路蜘蛛

例句

• If you avoid non-local links and dig down only into local Web pages, you provide a Web crawler for a single Web site, as shown in Listing 7.

  如果能够避免非本地的链接而只访问本地Web页面，就可以为这个单一Web站点提供Web爬虫了，如清单7所示。

• The sitemap files can then be used to indicate to a web crawler how such pages can be found.

  在Sitemap文件可以用来显示的Web抓取工具如何对这些网页可以找到。

• On this basis, the author proposed the implementation of this paper-content detection based on the web crawler technology.

  在此基础上提出本文所选用的实现方案——基于网络爬虫技术的内容探测技术。

• Each search engine has its own automated program called a "web spider" or "web crawler" that crawls the web.

  每个搜索引擎都有自己爬行网页的自动化程序，叫做“网络蜘蛛（webspider）”或“网络爬虫（webcrawler）”。

• The CollectUrls Web crawler program takes advantage of a fixed-size thread pool.

  CollectUrlsWebcrawler程序利用一个固定大小的线程池。

• Generally, search engine is consisting of web crawler, index construction, retrieval and user interface.

  一般来说，搜索引擎都由搜索器、索引器、检索器和用户接口四个部分组成。

• First, all frequent phrases that Spock extracts using its semantic technology via its web crawler become tags.

  首先，Spock使用语义学技术、通过网络爬虫系统采集到的所有常用短语都会成为标签。

• This information helps the Web crawler determine what the set of pages is and when to crawl them.

  这一信息能帮助web爬虫程序决定要爬行哪些页面以及爬行的时间。

• Gets a value indicating whether the browser is a search engine Web crawler.

  获取一个值，该值指示浏览器是否为Web爬行遍历搜索引擎。

• And real project experience in the areas of web crawler, search engines and information retrieval is a plus.

  因此我们优先录取在网络爬虫开发、搜索引擎开发和信息检索等方面具有深厚技术基础的候选人。